Het eerste hier gebouwde huis is zeer waarschijnlijk omstreeks 1684 gebouwd voor Louis Quinkelenberg; het komt in 1717 in bezit van ds. Am. Hallins en is tot omstreeks 1745 door deze familie bewoond geweest.

Omstreeks 1751 staat het 11,25 m brede woonhuis er bij, zoals Caspar Philips het huis getekend heeft in het grachtenboek. Het is zo verbouwd voor mr. Jacob Baron de Petersen. Op de kroonlijst, met zes consoles, staat dan een sierlijke balustrade met een middenstuk, waarin wapens van familie De Petersen en vier vazen.

Het heeft ook een dubbele stoep met ter weerszijden een toegang naar het souterrain. Boven de ingang zit een een sierraam (later een empire) en daar bezijden pilasters met kroonlijst, waarboven een omlijst kozijn. Het is in 1786 gekocht en bewoond door de commissaris Pieter Georgesz Clifford.

In 1897 is het ingericht voor de N.H. Diaconessen (ds. A. Voorhoeve) en in 1898 is het hekwerk geplaatst op de stoep naast de veranderde ingang.